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文章 编号 :1005-3085(2011)02-0206-05 
求解 无 约束 优化 问题 的 多 维 滤 子 信赖 域 方法 * 


孙 i, AEF, 王 永 丽 ? 
(1- 山东 农业 大 学 信息 科学 与 工程 学 院 ， 泰 安 271018; 
2- 山东 科技 大 学 信息 科学 与 工程 学 院 ， 青 岛 266510) 

摘 X 无 约束 优化 问题 广泛 存在 于 工程 、 科 学 计算 等 领域 . 本 文 提出 了 修正 的 多 维 滤 子 信和 赖 域 算法 ， 将 
信赖 域 子 问题 中 柯 西 步 的 求解 独立 出 来 ， 一 旦 发 现 二 次 模型 非 止 ， 便 直接 采用 柯 西点 作为 下 一 步 
迭代 点 ， 新 算法 无 需 考虑 迭代 产生 的 非 凸 点 ， 编 程 以 及 全 局 收敛 性 的 证 明 过 程 较为 简洁 ,最终 ， 
数值 计算 结果 表明 算法 的 可 行 性 和 有 效 性 . 

关键 词 : 滤 子 ;信赖 域 方法 ， 柯 西点 ; 全 局 收敛 性 

分 类 号 : AMS(2000) 90C30; 65K10 中 图 分 类 号 : 0221.2 文献 标识 码 : A 


1 引言 


近年 来 ， 滤 子 方法 是 优化 研究 领域 的 一 个 热点 . 目前 ，Gould 等 人 将 滤 子 方法 推广 到 非 线 
性 方程 组 ， 无 约束 以 及 界 约束 优化 问题 [下 ， 推 广 后 的 多 维 滤 子 方法 放宽 了 经 典 信 赖 域 框架 中 
目标 函数 值 单调 性 的 要 求 ， 以 及 信赖 域 半径 的 限制 ， 获 得 了 比较 理想 的 数值 结果 . 

为 了 有 效 减 少 一 次 迭代 中 多 次 求解 信赖 域 子 问题 ， 目 前 有 两 种 策略 : 一 是 信赖 域 方 法 与 线 
搜索 技术 相 结合 ， 这 一 方法 在 试探 步 不 被 接受 时 ， 便 转换 到 线 搜索 中 的 回溯 步 ， 二 是 非 单调 信 
赖 域 方法 ， 典 型 形式 就 是 要 求 

1 k—j 
f) < max, fO), 
这 里 M 是 个 大 于 零 的 常数 ， 实 质 是 把 单 步 下 降 的 要 求 放松 为 多 步 下 降 ， 中 国学 者 在 将 非 单 调 
技术 应 用 到 信赖 域 框架 的 工作 中 做 出 了 重要 的 贡献 .经 过 分 析 ， 我 们 发 现 Gould 等 人 所 提 
出 的 多 维 滤 子 信赖 域 算法 与 上 述 两 种 策略 一 样 可 以 有 效 的 减少 信赖 域 子 问题 的 求解 次 数 回 . 
我 们 考虑 一 般 的 无 约束 最 优化 问题 


其 中 f(z) 为 二 阶 连续 可 微 的 函数 . 本 文 对 文献 2 中 的 多 维 滤 子 信赖 域 方法 作 了 进一步 改进 ， 
简化 了 信赖 域 子 问题 的 求解 以 及 收敛 性 的 证 明 过 程 ， 获 得 了 一 个 较为 简洁 实用 的 算法 形式 . 


2 算法 及 其 收敛 性 分 析 


本 文 我 们 将 信赖 域 算法 框架 中 对 柯 西 步 的 求解 独立 出 来 ， 一 有 旦 发 现 二 次 模型 非 凸 便 直接 采 
用 柯 西 点 作为 下 一 步 迭 代 点 . 这 一 措施 省 去 了 文献 四 算法 中 针对 二 次 模型 非 凸 情形 所 进行 的 
多 次 操作 . 
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2.1 几 个 定义 和 符号 说 明 
定义 工 ( 柯 西点 ) 二 次 模型 mx (zx 十 5) 在 第 k 次 迭代 的 柯 西 点 x《 定义 为 
rE =£ — tgr = — argm " my (zy — tgk). (2) 


20, ZK 一 c 


柯 西点 在 信赖 域 方法 的 收 剑 理论 中 有 着 至 关 重 要 的 作用 ， 因 为 它 提 供 了 模型 下 降 量 的 特 
征 ， 即 
ma (zn) 一 mtz8) > sls] min [IEL Ad， (3) 


其 中 
Bi =1+ max || V^ms(z)]]. 





lgi(z1)| < lgi(x2)| Es "Ygllg(z2)1l, Vic 1,2,... ,n, (4) 


HEP y € (0, Æ) 为 一 常数 . 

定义 3 (多 维 滤 子 集 ) €4F-(gqu-.ige)tep RP gui = gi(zk) 是 点 xx 处 梯度 向 量 的 
第 ?个 分 量 ， 了 是 一 个 指标 集 . 若 任 取 k, 1 € DL WA geil < ligil — voli 84b — i € 
{1,2, n] 不 成 立 (zy, xi 不 互相 支配 )， 即 称 玉 是 由 nn 维 梯度 向 量 组 成 的 多 维 滤 子 集 . 

定义 4( 可 接受 ) 若 对 任意 的 g € F, FEJ € {1,2,… np EE glat) < Igujl — 
351 ez， 则 称 测 试点 zt TEL EITE FRZ. 

定义 5 (加 入 ) 可 接受 的 多 维 滤 子 gt =gl}) HP rf = zk 十 skp， 加 入 到 多 维 滤 子 集 ， 
当 且 仅 当 pk <m RÉ |se] > Ak. 

eo oi 点 支配 时 ， 即 接受 试探 
点 不 的 方法 ， 此 时 迭代 成 功 ， 即 zk+l = rl. Bg WAF, FP g 支配 的 梯度 信息 将 
会 从 下 中 去 除 ， 从 而 实现 多 维 滤 子 集 的 更 新 . 

2.2 ”多维 滤 子 信赖 域 算法 

步 0 选取 初始 点 zo 和 初始 信赖 域 半径 Ao > 0, TEX 


e (0.75). Oc«m-«mn «1, 0«m«wvc«ltz"y 
以 及 停机 精度 s > 0. W flo), g(zo) Wk = 0. WELE EJE-T E FOU E. KAN 
X RESTRICT, FRE RESTRICT 为 关 . 

步 1 ? las < e， 则 停止 .否则 根据 (2) 计算 柯 西点 z8. 此 时 ， 若 H 正定 ， 则 转 步 2. 
否则 zk+l := z8， 置 RESTRICT 为 关 ， 并 转 步 5. 

步 2 求解 信赖 域 子 问题 ， 得 满足 充分 下 降 条 件 的 试探 步 sg， 此 时 若 RESTRICT 为 开 ， 则 
试探 步 必 须 满足 


lskl < Ak, T := £k + Sp- 
步 3 WE Sfat), gek) 和 比率 
J(zk) — f(zi) 


mx(Zk) — my(zy)- 
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步 4 车 zt 可 被 多 维 滤 子 集 接受 ， 则 zk := zp, RESTRICT HX. 此 时 ， 若 pi < 
1 或 者 ||sk > Ak 成立， 则 加 入 gi 进 多 维 滤 子 集 捕 ， 并 更 新 下 . 

fW, Æ pr 2m Hjskl| € Ak Wery := zi, E RESTRICT AX. 

否则 ，zk+l := zk， 置 RESTRICT 为 开 . 

步 5 ds. < Ax, WEK 


MAk, vou], H py <m 时 ， 
Aka E $ [Ak Ak], 1 pk € [m.m] 时 ， (5) 
[Ak VAr] 当 pk m m 时 . 


否则 ， Ak+ı := Ag, k:=k +1, 转 步 1. 

2.3 ”全 局 收敛 性 分 析 

在 证 明 算 法 的 全 局 收敛 性 之 前 ， 首 先 给 出 下 列 结论 . 

贯穿 本 文 我 们 假设 f:R" 一 R 为 二 阶 连续 可 微 的 函数 ， 算 法 所 产生 的 迭代 点 列 都 在 R" 中 
的 一 个 有 界 闭 区 域内 ， 对 所 有 的 k, He- -BAR MEE kumha > 0， 使 Hx < kuma 此 时 由 
文献 3] A. dips] < Ak， 则 有 下 式 成 立 


f(zk) — ma(zk + sk) € Kuss ANZ, (6) 


其 中 kuba = Imax(kufj Kuma) 另外 若 存在 常数 Kig > 0, ETE gk || > Kog 对 所 有 上 天 成 立 ， 则 
存在 常数 koa > 0， 使 得 对 所 有 大， 有 下 式 成 立 


Ak > Ka: (7) 


定理 1 假设 f 二 阶 连续 可 微 ， 算 法 所 产生 的 迭代 点 列 {zx} 都 在 BR” 中 的 一 个 有 界 闭 区 域 
内 ， 且 对 所 有 的 ,Hy 一 致 有 界 ， 则 





Jim. inf [j|] = 0. (8) 


证 明 考虑 如 下 三 种 情形 ; 

1) 多 维 滤 子 算法 只 有 有 限 步 成 功 欠 代 ， 设 如 为 最 后 一 次 成 功 和 迭代 ， 则 对 所 有 的 7 > 
1, z' = Yko+1 = kotje 此 时 对 第 kotj KIRIN RESTRICT 为 开 ， 因 此 ||sgo+tj| < Akotyj, Pkotj 
<m, HERH j > 1 均 成 立 . 

由 算法 中 的 步 5 易 知 

假设 9 过 ss>0， 此 时 由 前 面 叙 述 可 知 Âko+j > Kibd’ 与 (9) 矛盾 ， 故 必 有 UTR 二 0. 从 
而 z* 为 一 阶 稳定 点 . 

2) 成 功 欠 代 的 次 数 以 及 加 入 多 维 滤 子 集 的 迭代 次 数 无 限 . 

(KE) 假定 当 k 充 分 大 时 ，gk > kig > 0， 由 假设 知 {gkl|} 有 界 ， 记 滤 子 集中 所 有 指标 
为 {i}， 则 存在 子 序列 {ki} C {ki41}， 使 得 


dim gu, = goo, lgooll > Kig- (10) 


由 {ku} 的 定义 ， 知 第 友 次 迭代 点 是 被 多 维 滤 子 集 所 接受 的 ， 故 对 每 个 1 > 1 都 存在 一 
Dji € 1,2, 5 ap 使 得 [gis | zs Igi, iil < —^yalgk, ll 则 当 ! 充分 大 时 ， 有 


|Ik i| S Igi, | < —7fgFlbg- (11) 
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但 由 (10) 式 可 推 知 上 式 左 边 趋向 于 零 ， 矛 盾 ， 故 (8) 式 成 立 . 

3) ”成功 迭代 次 数 无限 ， 加 入 多 维 滤 子 集 的 迭代 次 数 有 限 . 

(RUE) 假定 当 k 充 分 大 时 ,jlgx|| > mg > 0. 滤 子 集中 元 素 有 限 意味 着 成 功 迭 代 点 
中 ， 当 此 且 充 分 大 时 ， 必 有 pk > m Hose < Ak RE. EX spk Ap Ek KERDE, 
Tip, 大 充分 大 时 ， 由 (3), (4), (6) 式 以 及 px > mo. E 


k 


f(zp) = f(zi1) = 2: [f(z;) E f (zi+1)] > Sp,kHKibg min s. 


j=p,jES 





riva] . 


HEpř k 一 co， 上 述 不 等 式 右 端 趋向 于 +co， 可 推 知 Kzk+li) 无 下 界 ， 与 原 假 设 矛 
盾 ， 从 而 命题 得 证 . 


3 ”数值 测试 


算法 中 的 参数 选择 为 1 = 0.1, m = 025, n = 0.75, yı = 0.01, y2 205, 5 22, Yg = 
min(0.001, -= vx. 算法 程序 用 Matlab 6.5 程序 编写 ， 设 定 的 终止 准则 是 |lok| < 1075. dE 100i 
了 信赖 域 方法 (TR) 以 及 采用 本 文 (FTR1) 和 文献 [7] (FTR2) 两 种 多 维 滤 子 技术 的 信赖 域 方 法 求 
解 的 数值 结果 . 表格 中 IT, IF, IG 分 别 表 示 和 迭代 次 数 、 函 数值 和 梯度 的 计算 次 数 . 











表 1: 测试 结果 
测试 问题 IT/IF/IGTR IT/IF/IGrrm IT/IF/IGrrR2 
Rosenbrock 函数 16/53/37 7/29/22 12/41/32 
Freudenstein 和 Roth 函数 6/25/19 6/25/19 6/25/19 
Powell badly Scaled 函数  >100/383/283 15/52/37 35/113/61 
Brown badly Scaled 函数 25/46/22 23/41/19 23/41/19 
Beale 函数 11/33/22 14/45/28 13/39/26 





可 以 看 出 多 维 滤 子 技巧 的 引入 使 得 信赖 域 算法 更 加 有 效 和 稳定 ， 它 使 得 许多 不 成 功 的 试 
探 步 可 以 顺利 的 被 接受 . 文献 [ 引 提 出 的 算法 要 求 迭 代 所 得 的 试探 步 满足 信赖 域 半 径 的 限制 ， 
Bills] X Ax, k — 1,2,.…， 此 时 多 维 渡 子 技术 的 引入 只 能 多 接受 比值 pi 不 满足 px > m ATE 
的 试探 点 ， 由 本 文 的 数值 分 析 可 以 看 出 ， 试 探 步 sx 满足 ||sxl| < Ar 的 要 求 会 降低 多 维 滤 子 信赖 
域 方法 的 有 效 性 . 

表 2 中 给 出 了 信赖 域 方法 (TR) 以 及 多 维 滤 子 信赖 域 方法 (FTR) 求解 Scaled Rosenbrock £f 
数 的 测试 结果 ， 通 过 调整 目标 函数 中 的 参数 s 可 变化 函数 的 等 势 线 . 其 中 NS 表示 迭代 过 程 
rp [sl] > Ar 的 次 数 ，Np 表 示 px < m 而 迭代 成 功 的 次 数 . 

由 表 2 的 测试 结果 可 以 看 出 ， 多 维 滤 子 技巧 的 引入 使 得 信赖 域 算法 更 加 有 效 和 稳定 . 特别 
是 等 势 线 呈 峡谷 状 的 函数 ， 应 用 经 典 的 信赖 域 框架 ， 会 导致 信赖 域 半径 的 不 断 缩 小 以 及 反复 的 
求解 信赖 域 子 问题 ， 收 敛 速度 很 不 理想 ， 而 引入 多 维 滤 子 的 信赖 域 方法 其 收敛 效果 得 到 明显 的 
改善 . 
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表 2: 基于 Scaled Rosenbrock 函数 的 测试 结果 
S ITrR IF/IG/IHgrR ITrTR NS Np 
1 6 25/19/6 6 25/19/6 2 0 
10 16 53/37/12 T 29/22/'T 2 2 
10? 33 95/61/20 6 25/19/6 2 2 
10? 58 173/115/38 6 21/16/5 3 1 
104 115 353/238/79 10 37/28/9 6 2 
105 263 756/499/166 24 89/67/22 14 7 
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A Multidimensional Filter Trust Region Method for 
Unconstrained Optimization 


SUN Li', HE Guo-ping?, WANG Yong-li? 
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Abstract: Unconstrained optimization arises in engineering and scientific computing areas. We present 


a modified filter trust region method. It employs the Cauchy point directly, when the trust region 


subproblem is nonconvex. Without the consideration of nonconvex points, the algorithm and the global 


convergence analysis are easier. Numerical results show that the algorithm is efficient and reliable. 


Keywords: multidimensional filter; trust region method; Cauchy point; global convergence 
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